![](../img/lab-not-ok.png)
Apache Kafka 基础入门培训
课程以 Java 代码实战的方式学习 Kafka。
包括 Kafka 的安装配置、Producer API 的使用、
Consumer API 的使用以及与第三方框架 Flume、Spark Streaming 的集成开发。
1 MQ 消息系统的概念
2 Zookeeper 和 Kafka 的关系
3 使用 Java 调用 Kafka topic 相关 API
4 Producer 入门开发
5 Consumer 入门开发
6 Kafka 整合 Flume
7 Kafka 发送接收非结构化数据实战
8 Kafka 消息系统的基本架构
9 使用 shell 命令修改和删除 topic
10 查看 Kafka 中消息的存储位置
11 Producer 进阶开发
12 Consumer 进阶开发
13 Kafka 发送接收结构化数据实战
14 Spark 2.0 读取 Kafka 数据实战
1
Kafka,
1.了解MQ消息系统的概念
2.理解Kafka消息系统的基本架构
3.安装单机版Kafka集群
4.使用Shell命令创建Topic
5.使用Consumer、Producer发送和接收消息
2
理解 Kafka 集群
1.理解Zookeeper和Kafka的关系
2.理解broker、topic、producer、consumer、partition等专有术语
3.用本节的专业术语重新回顾上节课的实验
3
理解 Kafka topic
1.使用shell命令修改topic、删除topic
2.使用Java语言调用Kafkatopic相关API
3.查看Kafka中消息的存储位置
4
Producer 开发入门
1.开发Producer程序的基础知识
2.开发Java程序发送消息到Kafka集群
3.学习如何创建一个KafkaProducer和ProducerRecord对象
4.学习如何使用默认的partitioner和serializer发送消息
5
Producer 开发进阶
1.画图展示producer发送消息到Kafka的过程
2.从源码级别理解producer发送消息的过程
3.开发自定义partitioner分区器
6
Consumer 开发入门
1.理解消费者组的概念
2.学习开发consumer程序的基本步骤
3.编程控制消费指定offset的消息
7
Consumer 开发进阶
1.消息offset的同步提交
2.消息offset的异步提交
3.按partition维度提交offset
4.按处理的消息量提交offset
8
Kafka 整合 Flume
1.Flume的安装和配置
2.Flume接收命令行消息发送到Kafka
9
Kafka 发送接收结构化数据
1.使用Java开发消息发送程序Producer
2.使用Java开发消息读取程序Consumer
10
Kafka 发送接收非结构化数据
1.发送和接收图片数据
2.发送和接收视频数据
11
Spark 2 整合 Kafka
1.使用Eclipse搭建Spark20开发环境
2.使用Sparkstreaming读取Kafka数据,输出到console
![](../img/lab-not-ok.png)